Anthropic ने एक योजना का शुभारंभ किया है, जो AI मॉडल के प्रदर्शन और प्रभाव का मूल्यांकन करने के लिए नए प्रकार के बेंचमार्क टेस्ट के विकास को वित्त पोषण करता है, जिसमें इसके स्वयं के Claude जैसे जनरेटिव मॉडल शामिल हैं।

Arthur ने ओपन-सोर्स उपकरण ArthurBench लॉन्च किया है, जो बड़े भाषा मॉडलों के प्रदर्शन का मूल्यांकन और तुलना करने के लिए है। ArthurBench कंपनियों को विशिष्ट उपयोग के मामलों पर विभिन्न भाषा मॉडलों के प्रदर्शन का परीक्षण करने में मदद करता है और सटीकता, पठनीयता, जोखिम का प्रबंधन जैसे संकेतकों की तुलना में सहायता करता है। पहले ही वित्तीय सेवा कंपनियों, वाहन निर्माताओं, और मीडिया प्लेटफ़ॉर्म जैसी कंपनियों ने ArthurBench का उपयोग करना शुरू कर दिया है, जिससे विश्लेषण में तेजी और अधिक सटीक उत्तर प्रदान करने में मदद मिल रही है।